通過貝葉斯推斷來尋找最優的超參數組合以最大化或最小化目標函數

• 貝葉斯推斷：利用貝葉斯定理來建模超參數與目標函數之間的關系，從而通過已知的數據點預測出未知的目標函數值
  高斯過程：在貝葉斯優化中，通常使用高斯過程作為模型，一種能夠對函數進行建模並提供置信區間的方法。
  矩陣初始化：開始時，通過隨機選擇一些超參數組合並計算相應的目標函數值，構建起初的模型。
  叠代優化：根據當前模型的預測結果，選擇下一個超參數組合進行評估，更新模型。
  采樣策略：選擇合適的采樣策略來平衡探索和利用，常用的有高斯過程置信區間（Expected Improvement）、UCB（Upper Confidence Bound）等。
  收斂判定：根據收斂條件來判斷是否終止叠代，比如達到一定的叠代次數或目標函數值已經收斂。

• 應用場景：
  貝葉斯優化適用於需要調優多個超參數的機器學習模型，特別是在超參數空間覆雜、難以直觀理解的情況下，貝葉斯優化可以更有效地搜索最優解。

• 相關工具：
  HyperOpt：一個用於分布式異步優化的Python庫，支持貝葉斯優化等。
  Optuna：一個用於超參數優化的Python庫，支持並行化和分布式計算。
  GPyOpt：一個用於貝葉斯優化的Python庫，基於GPy（高斯過程庫）。
  Scikit-Optimize：一個用於黑盒優化的Python庫，支持貝葉斯優化等方法。

HyperOpt：
HyperOpt 是一個用於分布式異步優化的Python庫，支持多種優化算法，包括隨機搜索、TPE（Tree-structured Parzen Estimator）等。它能夠並行地在多個工作進程中進行超參數搜索，從而提高了搜索效率。
優點：支持並行化，提供多種優化算法。
缺點：相對於其他庫，可能在某些情況下運行速度較慢。

Optuna：
Optuna 是一個用於超參數優化的Python庫，它提供了簡單易用的API，並支持並行化和分布式計算。Optuna 使用了一種自適應的優化策略，能夠高效地搜索超參數空間。
優點：易於使用，支持並行化和分布式計算，具有自適應優化策略。
缺點：在某些特定場景下可能需要額外的配置。

GPyOpt：
特點：基於高斯過程的貝葉斯優化庫，提供了一種能夠對函數進行建模並提供置信區間的方法。
應用場景：適用於需要使用高斯過程進行貝葉斯優化的情況，對於連續型的超參數搜索較為合適。

Scikit-Optimize：
特點：支持貝葉斯優化等方法，具有簡單易用的API，可以處理連續型和離散型的超參數搜索。
應用場景：適用於需要在簡單的單機環境下進行超參數優化的情況，對於黑盒優化有較好的支持。